Sự nghiệp của ông Nguyễn Kim Sơn gắn liền với Đại học Quốc gia Hà Nội.[4]

Từ tháng 4/1991 đến tháng 2/1999, ông là cán bộ giảng dạy Khoa Ngữ văn, Trường Đại học Khoa học Xã hội và Nhân văn, Đại học Quốc gia Hà Nội.

Tháng 03/1999 đến 03/2002, ông kiêm thêm chức vụ Bí thư Đoàn TNCSHCM Trường Đại học Khoa học Xã hội và Nhân văn, Đại học Quốc gia Hà Nội.

Tháng 04/2002 đến tháng 03/2003, ông làm Phó Giám đốc Trung tâm Nghiên cứu Trung Quốc, Trường Đại học Khoa học Xã hội và Nhân văn, Đại học Quốc gia Hà Nội.

Tháng 04/2003 đến tháng 4/2006, ông là Trưởng phòng Đào tạo kiêm Phó Giám đốc Trung tâm Nghiên cứu Trung Quốc, Trường Đại học Khoa học Xã hội và Nhân văn, Đại học Quốc gia Hà Nội.

Tháng 05/2006 đến tháng 05/2007, ông là Trưởng phòng Đào tạo kiêm Giám đốc Trung tâm Nghiên cứu Trung Quốc, Trường Đại học Khoa học Xã hội và Nhân văn, Đại học Quốc gia Hà Nội.

Tháng 11/2009 đến tháng 05/2010, ông là Phó Hiệu trưởng, Phó Bí thư Đảng ủy Trường Đại học Khoa học Xã hội và Nhân văn kiêm Giám đốc Trung tâm Nghiên cứu Trung Quốc, Trường Đại học Khoa học Xã hội và Nhân văn, Đại học Quốc gia Hà Nội.

Tháng 01/2012 đến tháng 2/2016, ông là Phó Bí thư Đảng ủy, Phó Giám đốc Đại học Quốc gia Hà Nội;

Tháng 2/2016 đến tháng 6/2016, ông là Phó Bí thư Thường trực Đảng ủy, Phó Giám đốc Thường trực Đại học Quốc gia Hà Nội;

Ngày 30/6/2016, ông được bổ nhiệm là Giám đốc Đại học Quốc gia Hà Nội[5][6] và từ ngày 20/9/2016 là Bí thư Đảng ủy Đại học Quốc gia Hà Nội

Ngày 03/01/2019, ông trở thành Giám đốc Đại học Quốc gia Hà Nội kiêm giữ chức Chủ tịch Hội đồng Đại học Quốc gia Hà Nội nhiệm kỳ 2018-2023

Trong thời gian Đại học Quốc gia Hà Nội tiến hành thí điểm phương án Đổi mới Tuyển sinh Đại học bằng cách thi Đánh giá năng lực, ông Nguyễn Kim Sơn là người trực tiếp chỉ đạo việc triển khai thực hiện công việc này.[7]

Ngày 08/04/2021, ông được Thủ tướng Chính phủ Phạm Minh Chính đề cử, Quốc hội khóa XIV phê chuẩn và Chủ tịch nước Nguyễn Xuân Phúc đã ký quyết định bổ nhiệm ông giữ chức vụ Bộ trưởng Bộ Giáo dục và Đào tạo.[8]

Ngày 26 tháng 5 năm 2021, Theo Quyết định số 770/QĐ-TTg của Thủ tướng Chính phủ Phạm Minh Chính, ông Nguyễn Kim Sơn, Bộ trưởng Bộ Giáo dục và Đào tạo được bổ nhiệm giữ chức Chủ tịch Hội đồng Giáo sư nhà nước nhiệm kỳ 2018-2023.